Online Pandora's Box for Contextual LLM Cascading
情境化LLM级联的在线潘多拉魔盒策略
🧭 LLM推理 · API级联优化
The Fuqua School of Business, Duke University
提出在线学习算法，在LLM API级联中自适应决定查询顺序和部署选择，实现~O(√T)后悔界。
📌 工作参考价值（4 点）
- 在电商广告文案生成或客服多LLM服务成本优化中，可借鉴「两阶段决策」框架：先按预留指数顺序查询API生成候选，再根据下游奖励选择最优输出，无需事先知道不同API的确切质量分布。
- 对每个API不建完整输出分布，而是直接学习上下文相关的「预留指数」函数，结合GMM型估计与UCB探索，在业务中可大幅降低参数估计负担，特别适合API频繁迭代或输出分布复杂的场景。
- 算法保证了后悔界与上下文维度成正比，工程实现时可通过选择合适的参数化形式（如线性函数）和滑动窗更新策略，平衡实时性与收敛性，适合大规模高并发请求。
- 在多智能体系统里分配不同能力LLM Agent处理子任务时，也能使用类似思路：动态决定调用哪些Agent、调用顺序，以及最终采纳哪个Agent的输出，从而在预算约束下最大化任务成功率。